Current Result Document :
| 한글제목(Korean Title) |
점진적 Fully-Visible 어텐션에 기반한 PrefixLM 확장 및 텍스트 생성 응용 |
| 영문제목(English Title) |
PrefixLM with incremental fully-visible attention for Text generation |
| 저자(Author) |
이건희
나승훈
임준호
김태형
최윤수
장두성
Kun-Hui Lee
Seung-Hoon Na
Joon-Ho Lim
Tae-Hyeong Kim
Yun-Su Choi
Du-Seong Chang
|
| 원문수록처(Citation) |
VOL 48 NO. 02 PP. 0332 ~ 0334 (2021. 12) |
한글내용
(Korean Abstract) |
일반적인 디코딩 과정은 이전 토큰들로부터 다음 토큰이 추론된다. 이때 이미 생성된 토큰들의 은닉 상태는 생성 당시의 정보, 즉, 각 토큰의 이전 토큰에 대한 정보만을 가지고 있다. 새 토큰은 각각 자신까지의 정보만 가지고 있는 이전 토큰들의 은닉 상태로부터 생성되는 것이다. 본 논문에서는 이미 생성된 토큰의 은닉상태에 좀 더 풍부한 정보를 담기 위해서 양방향 어텐션을 사용하여 이미 생성된 토큰의 은닉 상태를 갱신하는 실험을 수행한다. 이를 위해 인코더와 디코더가 통합된 PrefixLM 구조를 사용하여 양방향 어텐션 확장을 통한 생성 요약 태스크 성능을 비교한다.
|
영문내용
(English Abstract) |
|
| 키워드(Keyword) |
|
| 파일첨부 |
PDF 다운로드
|
